Rubinstein sinh ra trong một gia đình Ba Lan người Do Thái bị đồng hóa.[1] cậu là con út trong số tám người con.[1] Cha của cậu là một chủ nhà máy giàu có.[2]

Tên lúc sinh của cậu là Artur Rubinstein, dù ở các nước nói tiếng Anh người ta gọi cậu là Arthur Rubinstein. Lúc lên hai tuổi, cậu tỏ ra là một người có khả năng thẩm âm hoàn hảo và đam mê piano, theo dõi các bài học piano của chị mình. Lúc lên 4, cậu đã được công nhận là một thần đồng. Nhạc công violin Hungary Joseph Joachim lúc nghe cậu bé lên 4 chơi violin, ông đã có ấn tượng lớn và bắt đầu dạy cậu bé thần đồng này. Rubinstein đầu tiên học piano ở Warsaw. Lúc lên 10, cậu chuyển đến Berlin để tiếp tục học tập.Năm 1900 cậu lên 13 tuổi và đã biểu diễn lần đầu ở Berlin Philharmonic, sau đó là biểu diễn ở Đức và Ba an và tiếp theo là học với thầy Karl Heinrich Barth (một phụ tá của Liszt, von Bülow, Joachim và Brahms; Barth cũng dạy Wilhelm Kempff). Lúc là học trò của Barth, Rubinstein đã thừa kế được kiến thức sư phạm nổi tiếng. Barth là học trò của Liszt, là người được dạy bởi Czerny, mà Czerny là học trò của Beethoven.[3]